update2019-08-22 11:40:33

1 はじめに

magickパッケージではImageMagick STLという最も包括的なオープンソースの画像処理のラッパーであり， Rに高品質の画像処理を提供する．

ひとまず以下のインストール～OCRはここを読みながら作成したもの．何かを追加する場合にはこの下へ追加していく.

2 Install

CRANから行えるので省略.

library(magick)

str(magick_config(), max.level = 1)

## List of 21
##  $ version           :Class 'numeric_version'  hidden list of 1
##  $ modules           : logi FALSE
##  $ cairo             : logi TRUE
##  $ fontconfig        : logi FALSE
##  $ freetype          : logi TRUE
##  $ fftw              : logi TRUE
##  $ ghostscript       : logi TRUE
##  $ jpeg              : logi TRUE
##  $ lcms              : logi TRUE
##  $ libopenjp2        : logi FALSE
##  $ lzma              : logi TRUE
##  $ pangocairo        : logi TRUE
##  $ pango             : logi TRUE
##  $ png               : logi TRUE
##  $ rsvg              : logi TRUE
##  $ tiff              : logi TRUE
##  $ webp              : logi TRUE
##  $ wmf               : logi FALSE
##  $ x11               : logi FALSE
##  $ xml               : logi TRUE
##  $ zero-configuration: logi TRUE

LinuxではImageMagick++のインストールが必要になる．詳しくはここを見て欲しい.

3 Image IO

3.1 Read and Wrie

バイナリやテキストに関わらず様々なフォーマットから直接読み込みを行うことが可能である.

library(magick)
tiger <- image_read_svg('http://jeroen.github.io/images/tiger.svg', width = 400)
print(tiger)

## # A tibble: 1 x 7
##   format width height colorspace matte filesize density
##   <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
## 1 PNG      400    400 sRGB       TRUE         0 72x72

# print(tiger)は次が実行されている
image_info(tiger)

拡張子を変更して書き出すことも余裕. ベクターデータだったものも，ラスターファイルで作成することが可能.

unlink("tiger.png")
image_write(tiger, path = "tiger.png", format = "png")

画像のプレビューには Linuxように次の関数も用意されている.

# image_display(tiger)
# image_browse(tiger)

4 Transformations

transformationを学ぶのに最も有効な方法は RStudioで ?transformationsで開かれるヘルプページを一通りなめることである.

下記の例では，何が出来そうかについて掴んで欲しい.

4.1 Cut and edit

いつくかのtransformation関数では, geometryを引数に取る. これはAxB+C+Dという形で表現されており, 次のような意味がある.

A：ワイド方向のピクセル数
B：高さ方向のピクセル数
C：ｘ方向にずらすピクセル数
D：ｙ方向にずらすピクセル

詳しい構文の方法についてはここを読み込んで欲しい

frink <- image_read("https://jeroen.github.io/images/frink.png")
print(frink)

## # A tibble: 1 x 7
##   format width height colorspace matte filesize density
##   <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
## 1 PNG      220    445 sRGB       TRUE     73494 72x72

image_border(
  image_background(
    frink, 
    "hotpink"
  ), 
  "#000080",
  "30x10" # 横は30pxで，上下は10px
)

image_trim(frink)

# 切り取り
image_crop(frink, "100x150+50")

# Resize
image_scale(frink, "300") # width 300px

# Resize
image_scale(frink, "x300") # height 300px

# rotate
# angle direction is opposite of math direction
image_rotate(frink, 45)

# flip 
# 上下反転
image_flip(frink)

# 左右反転
image_flop(frink)

# Brithness, Saturation He
image_modulate(frink, brightness = 80, saturation = 120, hue = 90)

# Patin the shirt orange
image_fill(frink, "orange", "+100+200", fuzz = 20)

image_fillではスタートポイントと，ファジーレベルを決めてスタートポイントと同じ色を塗りつぶしていく

4.2 Filters and effects

ImageMagcikでは標準的な効果がたくさん実装されている.

# Add randomness
image_blur(frink, 10, 5)

image_noise(frink)

# Silly fiters
image_charcoal(frink)

image_oilpaint(frink)

image_negate(frink)

4.3 Kernel convolution

画像にカーネルを適用するには image_convolve関数を用いる.

これはカーネルたたみ込みを行うと，あるピクセルに対して隣接ピクセルとの重み付け和が計算される．

kern <- matrix(0, ncol = 3, nrow = 3)
kern[1, 2] <- .25
kern[2, c(1, 3)] <- .25
kern[3, 2] <- .25
kern

##      [,1] [,2] [,3]
## [1,] 0.00 0.25 0.00
## [2,] 0.25 0.00 0.25
## [3,] 0.00 0.25 0.00

img <- image_resize(logo, "300x300")
image_blurred <- image_convolve(img, kern)
image_append(c(img, image_blurred))

標準カーネルについては実装されている．ここを確認して欲しい.

img %>% 
  image_convolve("Sobel") %>% 
  image_negate()

img %>% 
  image_convolve("DoG:0,0,2") %>% 
  image_negate()

4.4 Text annotation

image_annotate(frink, "I like R!", size = 70, gravity = "southwest", color = "green")

# customize text
image_annotate(
  frink, 
  "CONFIDENTIAL", 
  size = 30, 
  color = "red", 
  boxcolor = "pink", 
  degrees = 60, 
  location = "+50+100"
)

# Fonts
image_annotate(frink, "The quick brown fox", 
               font = "Times", 
               size = 30)

使えるフォントは “sans”, “mono”, “serif”, “Times”,
“Helvetica”, “Trebuchet”, “Georgia”, “Palatino” “Comic Sans”がある.

4.5 Combining with pipes

すべてのtransformationについては，コピーを返しており，オリジナルファイルへ与える副作用はない.

frink <- image_read("https://jeroen.github.io/images/frink.png")
frink2 <- image_scale(frink, "100")

image_info(c(frink, frink2))

つまり，変形を組み合わせるにはつなげる必要がある.

test <- 
  frink %>% 
  image_rotate(90) %>% 
  image_background("blue", flatten = TRUE) %>% 
  image_border("red", "10x10") %>% 
  image_annotate(
    "This is how we combine transformations",
    color = "white", 
    size = 30)
print(test)

## # A tibble: 1 x 7
##   format width height colorspace matte filesize density
##   <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
## 1 PNG      465    240 sRGB       TRUE         0 72x72

5 Image Vectors

これまでに示した例は，１枚の画像を対象をしたものであった．しかし，magickのすべての関数はベクトルかされており，複数のレイヤーや合成，アニメーションに対しても動作する.

[, [[, c(), そして, lengthといった標準のbase関数については，レイヤー群に対しても使うことが可能である.

earth <-
  image_read("https://jeroen.github.io/images/earth.gif") %>% 
  image_scale("200x") %>% 
  image_quantize(128)

length(earth)

## [1] 44

earth

head(earth)

earth %>% 
  rev() %>% 
  image_flip() %>% 
  image_annotate("meanwhile in Australia", size = 20, color = "white")

5.1 Layers

フォトショップでやるような，画像のスタッキングが行える.

bigdata <- image_read("https://jeroen.github.io/images/bigdata.jpg")
frink   <- image_read("https://jeroen.github.io/images/frink.png")
logo    <- image_read("https://jeroen.github.io/images/Rlogo.png")
image <- 
  c(bigdata, logo, frink) %>%
  image_scale("300x300") %>% 
  (function(x) {
      image_info(x);
      invisible((x))
  })()

image

モザイク化すると，すべて画像が収まる大きさに調整される.

image_mosaic(image)

flattenを使うと最初の画像の大きさで，モザイクしてくれる.

image_flatten(image)

モザイクとフラットは，合成の方法をしているすることができる. 合成の方法はここを参照して欲しい.

operates <- c("Add", "Modulate", "Minus")
test <- 
  operates %>% 
  map( ~ image_flatten(image, .x))

walk(test, ~ plot(.x))

5.2 Combining

image_append(image_scale(image, "x200"))

image_append(image_scale(image, "100"), stack = TRUE)

合成により特定の位置で二つの画像を組み合わせることが可能となる.

bigdatafrink <-
  frink %>% 
  image_background("none") %>% 
  image_rotate(300) %>% 
  image_scale("x200")

print(bigdatafrink)

## # A tibble: 1 x 7
##   format width height colorspace matte filesize density
##   <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
## 1 PNG      240    200 sRGB       TRUE         0 72x72

bigdata %>% 
  image_scale("x400") %>% 
  image_composite(bigdatafrink, offset = "+180+100")

5.3 Pages

PDFドキュメントを読み込んだ際には，ページごとにベクターデータになる． PDFは特定の解像度が求められた際にはすぐさまレンダリングされていることに注意する.

manual <- image_read_pdf(
  "https://cloud.r-project.org/web/packages/magick/magick.pdf", density = 72)
image_info(manual)

manual[1]

5.4 Animation

ベクターをレイヤーの要素として取り扱うことに変わり，フレームとして扱いアニメーションを作成することも可能である.

image_animate(image_scale(img, "200x200"), fps = 1, dispose  = "previous")

Morphingは連続的にn個の画像を魅せる代わりに，ひとつの画像を他の画像へmorphする. これはアニメーションになる.

newlogo <- image_scale(image_read("https://jeroen.github.io/images/Rlogo.png"), "x150")

oldlogo <- image_scale(image_read("https://developer.r-project.org/Logo/Rlogo-3.png"), "x150")

frames <- image_morph(c(oldlogo, newlogo), frames = 10)

image_animate(frames)

GIFやビデオフォーマットのファイルを読み込んだ際には，それぞれのフレームがレイヤーとして読み込む.

banana <- image_read("https://jeroen.github.io/images/banana.gif")
banana <- image_scale(banana, "150")
image_info(banana)

それぞれのフレームに背景を追加したアニメーションを作成する.

background <- image_background(
  image_scale(logo, "200"), 
  "white", 
  flatten = TRUE 
)

frames <- image_composite(background, banana, offset ="+70+30")

animation <- image_animate(frames, fps = 10)
print(animation)

## # A tibble: 8 x 7
##   format width height colorspace matte filesize density
##   <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
## 1 gif      200    155 sRGB       TRUE         0 72x72  
## 2 gif      200    155 sRGB       TRUE         0 72x72  
## 3 gif      200    155 sRGB       TRUE         0 72x72  
## 4 gif      200    155 sRGB       TRUE         0 72x72  
## 5 gif      200    155 sRGB       TRUE         0 72x72  
## 6 gif      200    155 sRGB       TRUE         0 72x72  
## 7 gif      200    155 sRGB       TRUE         0 72x72  
## 8 gif      200    155 sRGB       TRUE         0 72x72

image_backgroundのflattenは背景となるものを敷くイメージ. flattenがFALSEだと背景が埋まっていないので，合成する次のように積集合のような絵ができる.

background <- image_background(
  image_scale(logo, "200"), 
  "white", 
  flatten = FALSE
)

frames <- image_composite(background, banana, offset ="+70+30")

animation <- image_animate(frames, fps = 10)
print(animation)

## # A tibble: 8 x 7
##   format width height colorspace matte filesize density
##   <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
## 1 gif      200    155 sRGB       TRUE         0 72x72  
## 2 gif      200    155 sRGB       TRUE         0 72x72  
## 3 gif      200    155 sRGB       TRUE         0 72x72  
## 4 gif      200    155 sRGB       TRUE         0 72x72  
## 5 gif      200    155 sRGB       TRUE         0 72x72  
## 6 gif      200    155 sRGB       TRUE         0 72x72  
## 7 gif      200    155 sRGB       TRUE         0 72x72  
## 8 gif      200    155 sRGB       TRUE         0 72x72

アニメーションは次で出力する.

image_write(animation, "Rlogo-banana.gif")

6 Drawing and Graphics

6.1 Graphics device

グラフィックオブジェクトを作成するimage_graphはpngのような関数と同様の機能を有する.

fig <- image_graph(width = 400, height = 400, res = 96)

ggplot2::qplot(mpg, wt, data = mtcars, colour = cyl)

dev.off()

## png 
##   2

グラフィックオブジェクトが作成されていることで，通常の画像操作を扱うことができる.

out <- image_composite(fig, frink, offset = "+70+30")
print(out)

## # A tibble: 1 x 7
##   format width height colorspace matte filesize density
##   <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
## 1 PNG      400    400 sRGB       TRUE         0 72x72

6.2 Drawing device

グラフィックの他の使い方としてぇあ，ピクセル座標値を使い画像に絵を描いていく方法がある.

img <- image_draw(frink)
rect(20, 20, 200, 100, border = "red", lty = "dashed", lwd = 5)

abline(h = 300, col = 'blue', lwd = '10', lty = "dotted")

text(30, 250, "Hoiven-Glaven", fmamily = "monospace", cex = 4, srt = 90)

## Warning in text.default(30, 250, "Hoiven-Glaven", fmamily = "monospace", :
## "fmamily" はグラフィックスパラメータではありません

palette(rainbow(11, end = .9))
symbols(rep(200, 11), seq(0, 400, 40), circles = runif(11, 5, 35), 
        bg = 1:11, inches = FALSE, add = TRUE)
dev.off()

## png 
##   2

print(img)

## # A tibble: 1 x 7
##   format width height colorspace matte filesize density
##   <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
## 1 PNG      220    445 sRGB       TRUE         0 72x72

グラフを描画しているimage_drawではすべてのマージンをゼロにしており，左上が0,0の座標である. マージンをどの程度にするのかは引数で設定が可能である.

6.3 Animated Graphics

graphicsデバイスを使うことでマルチフレーム機能をサポートしており，アニメの作成が容易となる．

library(gapminder)
library(ggplot2)

img <- image_graph(600, 340, res = 96)
datalist <- split(gapminder, gapminder$year)
out <- lapply(datalist, function (data) {
  p <- 
    ggplot(data, aes(gdpPercap, lifeExp, size = pop, color = continent)) +
    scale_size("population", limits = range(gapminder$pop)) + 
    geom_point() + 
    ylim(20, 90) + 
    scale_x_log10(limits = range(gapminder$gdpPercap)) +
    ggtitle(data$year) + 
    theme_classic()
  print(p)
})
dev.off()

## png 
##   2

animation <- image_animate(img, fps = 2)

print(animation)

## # A tibble: 12 x 7
##    format width height colorspace matte filesize density
##    <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
##  1 gif      600    340 sRGB       TRUE         0 72x72  
##  2 gif      600    340 sRGB       TRUE         0 72x72  
##  3 gif      600    340 sRGB       TRUE         0 72x72  
##  4 gif      600    340 sRGB       TRUE         0 72x72  
##  5 gif      600    340 sRGB       TRUE         0 72x72  
##  6 gif      600    340 sRGB       TRUE         0 72x72  
##  7 gif      600    340 sRGB       TRUE         0 72x72  
##  8 gif      600    340 sRGB       TRUE         0 72x72  
##  9 gif      600    340 sRGB       TRUE         0 72x72  
## 10 gif      600    340 sRGB       TRUE         0 72x72  
## 11 gif      600    340 sRGB       TRUE         0 72x72  
## 12 gif      600    340 sRGB       TRUE         0 72x72

image_write(animation, "out/gapminder.gif")

7 Raster Images

Magickの画像はRのベースグラフィックで使うためのラスターオブジェクトに変換することができる. そのため．Magickの画像は他のグラフィックツールとも連携できる. しかし，Rのラスターオブジェクトは遅く，座標系が違ううえ，品質が下がる.

7.1 Base R rasters

plot(as.raster(frink))

plot(cars)
rasterImage(frink, 21, 0, 25, 80)

7.2 The grid package

パッケージgridを使うことでグラフィックデバイスにラスターオブジェクトを重ねることは行いやすい.

library(ggplot2)
library(grid)
qplot(speed, dist, data = cars, geom = c("point", "smooth"))

## `geom_smooth()` using method = 'loess' and formula 'y ~ x'

grid.raster(frink)

7.3 The raster Packges

tiff_file <- tempfile()
image_write(frink, path = tiff_file, format = 'tiff')
r <- raster::brick(tiff_file)
raster::plotRGB(r)

buf <- as.integer(frink[[1]])
rr <- raster::brick(buf)
raster::plotRGB(rr, asp = 1)

8 OCR text extraction

library(tesseract)
img <- image_read("http://jeroen.github.io/images/testocr.png")
print(img)

## # A tibble: 1 x 7
##   format width height colorspace matte filesize density
##   <chr>  <int>  <int> <chr>      <lgl>    <int> <chr>  
## 1 PNG      640    480 sRGB       TRUE     23359 72x72

cat(image_ocr(img))

## This is a lot of 12 point text to test the
## ocr code and see if it works on all types
## of file format.
## 
## The quick brown dog jumped over the
## lazy fox. The quick brown dog jumped
## over the lazy fox. The quick brown dog
## jumped over the lazy fox. The quick
## brown dog jumped over the lazy fox.

package:magick